Prior work has shown that it is possible to expand pretrained Masked Language Models (MLMs) to new languages by learning a new set of embeddings, while keeping the transformer body frozen. Despite learning a small subset of parameters, this approach is not compute-efficient, as training the new embeddings requires a full forward and backward pass over the entire model. In this work, we propose mini-model adaptation, a compute-efficient alternative that builds a shallow mini-model from a fraction of a large model's parameters. New language-specific embeddings can then be efficiently trained over the mini-model, and plugged into the aligned large model for rapid cross-lingual transfer. We explore two approaches to learn mini-models: MiniJoint, which jointly pretrains the primary model and the mini-model using a single transformer with a secondary MLM head at a middle layer; and MiniPost, where we start from a regular pretrained model and build a mini-model by extracting and freezing a few layers and learning a small number of parameters on top. Experiments on XNLI, MLQA and PAWS-X show that mini-model adaptation matches the performance of the standard approach using up to 2.4x less compute.

深度神经网络（DNN）已在脑病变检测和分割中广泛采用。但是，在2D MRI切片中定位小病变是具有挑战性的，需要在3D上下文聚集的粒度和计算复杂性之间取得平衡。在本文中，我们提出了一种新型的视角变压器，以增强MRI特征的提取，以进行更准确的肿瘤检测。首先，所提出的变压器在3D脑扫描中收获了不同位置之间的远程相关性。其次，变压器将一堆切片功能堆叠为多个2D视图，并增强这些特征的视图，该功能大致以有效的方式实现了3D相关计算。第三，我们将提出的变压器模块部署在变压器主链中，该模块可以有效地检测到脑损伤周围的2D区域。实验结果表明，我们提出的观看式变压器在具有挑战性的大脑MRI数据集上对大脑病变检测表现良好。

由于乳腺癌的发生和死亡率很高，乳房X线照片中检测肿块很重要。在乳房X线照片质量检测中，对成对病变对应的建模特别重要。但是，大多数现有方法构建了相对粗糙的对应关系，并且尚未利用对应的监督。在本文中，我们提出了一个新的基于变压器的框架CL-NET，以端到端的方式学习病变检测和成对对应。在CL-NET中，提出了观察性病变检测器来实现跨视图候选者的动态相互作用，而病变接头则采用通信监督来更准确地指导相互作用过程。这两种设计的组合实现了对乳房X线照片的成对病变对应的精确理解。实验表明，CL-NET在公共DDSM数据集和我们的内部数据集上产生最先进的性能。此外，在低FPI制度中，它的表现优于先前的方法。

本文探讨了管状结构提取任务的点集表示。与传统的掩码表示相比，点集表示享有其灵活性和表示能力，这不会受到固定网格作为掩模的限制。受此启发，我们提出了PointCatter，这是管状结构提取任务的分割模型的替代方法。PointCatter将图像分为散射区域，并对每个散点区域预测点。我们进一步提出了基于贪婪的区域的两分匹配算法，以端到端训练网络。我们在四个公共管状数据集上基准测试了点刻表，并且有关管状结构分割和中心线提取任务的广泛实验证明了我们方法的有效性。代码可在https://github.com/zhangzhao2022/pointscatter上找到。

3D对象检测通过将点云作为唯一的输入来取得了显着的进展。但是，点云通常遭受不完整的几何结构和缺乏语义信息，这使得检测器难以准确地对检测到的对象进行分类。在这项工作中，我们专注于如何有效利用来自图像的对象级信息来提高基于点的3D检测器的性能。我们提出DEMF，这是一种简单而有效的方法，将图像信息融合到点特征中。给定一组点特征和图像特征图，DEMF通过将3D点的投影2D位置作为参考来自适应地汇总图像特征。我们在挑战性的Sun RGB-D数据集上评估了我们的方法，从而提高了最新的结果（+2.1 map@0.25和+2.3map@0.5）。代码可从https://github.com/haoy945/demf获得。

基于分解的模型（FMS），例如Distmult，在知识图完成（KGC）任务中享有持久的成功，通常优于图形神经网络（GNNS）。但是，与GNN不同，FMS难以合并节点特征并概括在归纳环境中看不见的节点。我们的工作通过提出重构GNN来弥合FMS和GNN之间的差距。这种新的体系结构借鉴了两种建模范式，以前在很大程度上被认为是不结合的。具体地说，使用消息通讯的形式主义，我们通过将梯度下降程序重新定义为消息传播操作来展示如何将FMS施加为GNN，这构成了我们重构GNN的基础。在众多成熟的KGC基准测试中，我们的重构GNN可以实现与FMS相当的转导性能以及最先进的归纳性能，同时使用较少的参数阶数。

注释大规模数据集以进行监督的视频阴影检测方法是一项挑战。直接使用在标记的图像上训练的模型直接导致高概括错误和时间不一致的结果。在本文中，我们通过提出一个时空插值一致性训练（Stict）框架来解决这些挑战，以合理地将未标记的视频框架以及标记的图像以及图像阴影检测网络训练中进行合理地馈送。具体而言，我们提出了空间和时间ICT，其中定义了两个新的插值方案，\ textit {i.e。}，空间插值和时间插值。然后，我们相应地得出了相应的空间和时间插值一致性约束，以增强像素智能分类任务中的概括和分别鼓励时间一致的预测。此外，我们设计了一个量表感知网络，用于图像中的多尺度阴影知识学习，并提出了比例一致性约束，以最大程度地减少不同尺度上预测之间的差异。我们提出的方法在VISHA数据集和自称数据集上得到了广泛的验证。实验结果表明，即使没有视频标签，我们的方法也比大多数最新的监督，半监督或无监督的图像/视频阴影检测方法以及相关任务中的其他方法更好。代码和数据集可在\ url {https://github.com/yihong-97/stict}上获得。

A large number of studies on Graph Outlier Detection (GOD) have emerged in recent years due to its wide applications, in which Unsupervised Node Outlier Detection (UNOD) on attributed networks is an important area. UNOD focuses on detecting two kinds of typical outliers in graphs: the structural outlier and the contextual outlier. Most existing works conduct experiments based on datasets with injected outliers. However, we find that the most widely-used outlier injection approach has a serious data leakage issue. By only utilizing such data leakage, a simple approach can achieve state-of-the-art performance in detecting outliers. In addition, we observe that most existing algorithms have a performance drop with varied injection settings. The other major issue is on balanced detection performance between the two types of outliers, which has not been considered by existing studies. In this paper, we analyze the cause of the data leakage issue in depth since the injection approach is a building block to advance UNOD. Moreover, we devise a novel variance-based model to detect structural outliers, which outperforms existing algorithms significantly at different injection settings. On top of this, we propose a new framework, Variance-based Graph Outlier Detection (VGOD), which combines our variance-based model and attribute reconstruction model to detect outliers in a balanced way. Finally, we conduct extensive experiments to demonstrate the effectiveness and efficiency of VGOD. The results on 5 real-world datasets validate that VGOD achieves not only the best performance in detecting outliers but also a balanced detection performance between structural and contextual outliers. Our code is available at https://github.com/goldenNormal/vgod-github.

我们根据计算一个扎根于每个顶点的某个加权树的家族而构成的相似性得分提出了一种有效的图形匹配算法。对于两个erd \ h {o} s-r \'enyi图$ \ mathcal {g}（n，q）$，其边缘通过潜在顶点通信相关联，我们表明该算法正确地匹配了所有范围的范围，除了所有的vertices分数外，有了很高的概率，前提是$ nq \ to \ infty $，而边缘相关系数$ \ rho $满足$ \ rho^2> \ alpha \ ailpha \大约0.338 $，其中$ \ alpha $是Otter的树木计数常数。此外，在理论上是必需的额外条件下，可以精确地匹配。这是第一个以显式常数相关性成功的多项式图匹配算法，并适用于稀疏和密集图。相比之下，以前的方法要么需要$ \ rho = 1-o（1）$，要么仅限于稀疏图。该算法的症结是一个经过精心策划的植根树的家族，称为吊灯，它可以有效地从同一树的计数中提取图形相关性，同时抑制不同树木之间的不良相关性。

代码生成旨在从自然语言描述中自动生成代码段。通常，主流代码生成方法依赖大量的配对培训数据，包括自然语言描述和代码。但是，在某些特定领域的情况下，很难为代码生成建立如此大的配对语料库，因为没有直接可用的配对数据，并且需要大量精力来手动编写代码说明来构建高质量的培训数据集。由于培训数据有限，生成模型不能经过良好的训练，并且可能过于拟合，从而使该模型对现实世界的使用不满意。为此，在本文中，我们提出了一种任务增强方法，该方法通过扩展原始的Tranx模型来支持suptoken级代码生成，将域知识通过辅助任务和亚键入tranx模型纳入代码生成模型。为了验证我们提出的方法，我们收集了一个真实的代码生成数据集并在其上进行实验。我们的实验结果表明，亚句级Tranx模型在我们的数据集中优于原始Tranx模型和变压器模型，并且在我们的任务增强方法的帮助下，Subtoken-Tranx的确切匹配精度可显着提高12.75 \％。多个代码类别的模型性能满足了工业系统应用程序的要求。我们提出的方法已由阿里巴巴的\ emph {bizcook}平台采用。据我们所知，这是在工业开发环境中采用的第一个领域代码生成系统。